See-Through Latency in Mixed Reality Headsets

Laajennettu todellisuus ja erityisesti sekoitettu todellisuus ovat kasvussa olevia teknologian aloja, joilla on useita hyödyllisiä sovelluskohteita. Niitä ovat esimerkiksi viihteen sovellukset, kuten pelaaminen, koulutus ja opetus, sekä lääketieteen sovellukset. Koska nämä sovellukset vaativat laitteistolta tarkkuutta, laitteen käyttöön liittyviä parametreja halutaan saada mitattua mahdollisimman tarkasti. Sekoitetun todellisuuden laitteistoissa esiintyvällä latenssilla on suuri vaikutus laitteen käytettävyyteen. Pahimmassa tapauksessa systeemin latenssi voi aiheuttaa simulaattorisairautta ja tehdä laitteistosta epämiellyttävän käyttää. Näissä laitteistoissa systeemin latenssi koostuu muutamasta eri tekijästä: seurantaviiveestä, sovellusohjelman viiveestä, kuvantamisen viiveestä ja generoidun sisällön esittämisen viiveestä. Sovellusohjelman, kuvantamisen ja generoidun sisällön esittämisen viivettä voidaan kuvata myös termeillä läpinäköviive tai visuaalinen latenssi. Se on latenssimuoto, jota on vain sekoitetun ja ehostetun todellisuuden laitteistoissa, koska näillä teknologioilla on mahdollista yhdistää oikeita ja virtuaalisia ympäristöjä. Visuaalinen latenssi kuvaa aikaa joka laitteistolla menee, jotta se saa reaalimaailman ja mahdollisen ehostuksen esitettyä laitteiston näytöllä ja käyttäjä pystyy näkemään muodostetun syötteen. Tällä hetkellä ei ole standardoitua tapaa mitata visuaalista latenssia. Tässä kandidaatintyössä esitetään mittausperiaate, joka perustuu ulkoisen laitteiston käyttämiseen latenssimittauksen suorittamisessa. Kahta hieman toisistaan eroavaa mittaustapaa tarkastellaan ja niistä saatuja tuloksia analysoidaan. Ensimmäisessä mittaustavassa ulkoisen laitteiston värisensorista saatavaa dataa muokataan alipäästösuodattamalla muodostettua kirkkaussignaalia. Tämä tehdään, jotta testilaitteiston näytön taustavalosta johtuvat väärät positiiviset havainnot saadaan poistettua lopullisista luokitelluista tapahtumista. Toisessa mittaustavassa latenssi määritetään raakadatan avulla. Sensoridatan perusteella lasketaan havaittujen tapahtumien kirkkaudet ja määritetään signaalin verhokäyrä. Tämän jälkeen signaali jaetaan ruutuihin, ja näiden ruutujen sisällä olevat maksimiarvot määritetään. Jos nämä arvot eroavat tarpeeksi ennalta määritetystä alarajasta, merkataan arvot havaituiksi tapahtumiksi ja niiden avulla lasketaan laitteiston lopullinen visuaalinen latenssi. Molemmista mittaustavoista saatiin käyttökelpoisia tuloksia. Koska mitattu latenssi on hyvin riippuvainen testatusta laitteistosta, mittaus saattaa antaa joillekin laitteistoille parempia tuloksia kuin toisille. Ensimmäisessä mittaustavassa ongelmaksi muodostui testattavan laitteen näytön taustavalon tehokas poistaminen. Siihen ei aina pystytty, joka johti suhteellisen suureen määrään vääriä positiivisia havaintoja. Tapahtumia siis merkattiin havaituiksi, vaikka niitä ei ollut. Tämän vuoksi lopullinen latenssiarvo saatettiin mitata matalampana kuin mitä se todellisuudessa on. Toisena esitetyllä mittaustavalla saatiin poistettua nämä aiemmin esiintyneet väärät positiiviset havainnot yleiskäyttöisemmän tapahtumien luokittelutavan vuoksi. Tämän vuoksi toisena esitetyllä mittaustavalla saatiin myös todenmukaisempia ja tarkempia visuaalisen latenssin mittausarvoja.Extended reality and especially mixed reality is an emerging technology, with a wide range of possible useful applications. A few of these are entertainment and infotainment, education and medical applications. Because there is a wide range of possible beneficial applications, the parameters affecting the usability of the devices want to be measured as accurately as possible. One thing that has a high effect on the usability of a mixed reality headset is the latency of the device. At worst, system latency can cause simulator sickness and make the devices unpleasant to use. In these devices there are multiple different components that together construct the final system latency of the device. These components are tracking delay, application delay, image generation delay and display delay. The image generation delay and display delay can also be described as see-through or visual latency. It is an latency that is only present in mixed and augmented reality devices due to their ability of mixing virtual and real environments. See-through latency is the delay between the time of the device observing the real world environment around the user and based on this, generating imagery on the device display based on the user input. At the time, there isn't any standard way of measuring see-through latency in mixed reality headsets. In this thesis a measurement method based on hardware instrumentation is presented. Two different approaches to the see-through latency measurement are described and analyzed. The first approach is based on modifying color sensor signal from which the final see-through is derived from. The signal is low-pass filtered to remove the backlight of the tested device's display. This done to decrease the amount of false positives of detected see-through events from the color sensor data. In the second approach, the color sensor signal itself isn't modified, but the detected see-through events are gathered in a different way. The color sensor data is converted into brightness values, and a high envelope of the signal is derived. The signal is then divided into frames and from these frames the local maxima can be gathered. If the brightness of this data point is over a certain threshold, it will be classified as a blinking event and it will be used in calculating the final latency. The measurement methods described gave quite good results. Because the latency is highly dependant on the tested device, the measurement might give better results for some devices and worse results for others. The first measurement method couldn't always remove the backlight of the tested device as a see-through detection, which resulted in a large amount of false positives. This resulted in a lower final latency value than it should be. With the second measurement method these false positives could be eliminated and the measured latency values were more accurate due to the more universal method of deriving the see-through events